เกรซ เคลลีเกิดที่ย่านอีสฟอลล์ในเมืองฟิลาเดลเฟีย รัฐเพนซิลเวเนีย เป็นบุตรคนที่ 3 ในจำนวน 4 คนของนายแจ็คและนางมากาเร็ต เคลลี บิดาของเกรซเป็นบุตร 1 ใน 10 คนของครอบครัวชาวอเมริกันคาทอลิกที่อพยพมาจากสาธารณรัฐไอร์แลนด์ แจ็คผู้เป็นบิดาเคยเป็นวีรบุรุษของชาวอเมริกันมาแล้วจากการได้เหรียญทองโอลิมปิกมากถึง 3 เหรียญในแข่งขันเรือกรรเชียงคู่ในขณะที่กีฬาชนิดนี้กำลังเป็นที่นิยมสูงสุด แจ็คทำธุรกิจการค้าอิฐที่ใหญ่ที่สุดในฝั่งตะวันออกของสหรัฐฯ และประสบความสำเร็จในระดับมหาเศรษฐีคนหนึ่ง พี่น้องของแจ็คหลายคนประสบความสำเร็จในชีวิตด้านศิลปะ คนหนึ่งเป็นนักเขียนบทละครย่อยที่โด่งดัง อีกคนหนึ่งได้รับรางวัลพูลิตเซอร์

เมื่อ พ.ศ. 2478 แจ็ก หรือที่เรียกกันอย่างว่า จอห์น เคลลี ได้ลงสมัครรับการเลือกตั้งเป็นนายกเทศมนตรีในนามของพรรคเดโมแครตแต่ก็แพ้อย่างหวุดหวิด ระหว่างสงครามโลกครั้งที่ 2 ประธานาธิบดีแฟรงกลิน ดี. รูสเวลต์ได้แต่งตั้งแจ็กเป็นประธานกรรมการพลศึกษาแห่งชาติซึ่งเป็นตำแหน่งทางประชาสัมพันธ์ที่ใช้ความมีชื่อเสียงด้านกีฬาของเขามาช่วยโน้มน้าวให้ชาวอเมริกันหันมาออกกำลังกายเพื่อสุขภาพมากขึ้น

มากาเร็ต มารดาของเกรซมีเชื้อสายเยอรมันที่เข้ารีตเป็นคาทอลิก เธอเองก็เก่งด้านกีฬา จบสาขาพลศึกษาจากมหาวิทยาลัยเทมเพิลซึ่งต่อมาได้เป็นหัวหน้าภาควิชาพลศึกษาคนแรกของมหาวิทยาลัยเพนซิลเวเนีย

จอห์น บี เคลลี จูเนียร์พี่ชายของเกรซก็มีเชื้อไม่ทิ้งแถวของครอบครัว โดยเป็นนักกีฬาที่ชนะเลิศรางวัล “เจมส์ อี ซุลลิแวน” ซึ่งเป็นรางวัลสูงสุดสำหรับกีฬาสมัครเล่นของสหรัฐฯ เมื่อ พ.ศ. 2490 ในปี พ.ศ. 2499 จอห์น จูเนียร์ยังได้รางวัลเหรียญทองแดงโอลิมปิกฤดูร้อนจากการแข่งขันเรือกรรเชียง และได้มอบเหรียญนี้เป็นของขวัญแต่งงานของน้องสาว